# -*- coding: utf-8 -*-
"""
信息熵
Created on Thu Apr 26 16:38:51 2018

@author: Allen
"""
import numpy as np
import matplotlib.pyplot as plt

def entropy( p ):
    return -p * np.log( p ) - ( 1 - p ) * np.log( 1 - p )

x = np.linspace( 0.01, 0.99, 200 )

y = entropy( x )

plt.plot( x, y )
plt.show()

'''
可以看出，在0.5的位置信息熵最大，说明不确定性最大
'''